Deep learning classifiers provide the most accurate means of automatically diagnosing diabetic retinopathy (DR) based on optical coherence tomography (OCT) and its angiography (OCTA). The power of these models is attributable in part to the inclusion of hidden layers that provide the complexity required to achieve a desired task. However, hidden layers also render algorithm outputs difficult to interpret. Here we introduce a novel biomarker activation map (BAM) framework based on generative adversarial learning that allows clinicians to verify and understand classifiers decision-making. A data set including 456 macular scans were graded as non-referable or referable DR based on current clinical standards. A DR classifier that was used to evaluate our BAM was first trained based on this data set. The BAM generation framework was designed by combing two U-shaped generators to provide meaningful interpretability to this classifier. The main generator was trained to take referable scans as input and produce an output that would be classified by the classifier as non-referable. The BAM is then constructed as the difference image between the output and input of the main generator. To ensure that the BAM only highlights classifier-utilized biomarkers an assistant generator was trained to do the opposite, producing scans that would be classified as referable by the classifier from non-referable scans. The generated BAMs highlighted known pathologic features including nonperfusion area and retinal fluid. A fully interpretable classifier based on these highlights could help clinicians better utilize and verify automated DR diagnosis.

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

基于注意力的神经网络在许多AI任务中都普遍存在。尽管其出色的算法性能，但注意力机制和前馈网络（FFN）的使用仍需要过多的计算和内存资源，这通常会损害其硬件性能。尽管已经引入了各种稀疏变体，但大多数方法仅着重于缓解算法级别上的二次注意力缩放，而无需明确考虑将其方法映射到真实硬件设计上的效率。此外，大多数努力仅专注于注意机制或FFN，但没有共同优化这两个部分，导致当前的大多数设计在处理不同的输入长度时缺乏可扩展性。本文从硬件角度系统地考虑了不同变体中的稀疏模式。在算法级别上，我们提出了Fabnet，这是一种适合硬件的变体，它采用统一的蝴蝶稀疏模式来近似关注机制和FFN。在硬件级别上，提出了一种新颖的适应性蝴蝶加速器，可以在运行时通过专用硬件控件配置，以使用单个统一的硬件引擎加速不同的蝴蝶层。在远程 - ARENA数据集上，FabNet达到了与香草变压器相同的精度，同时将计算量减少10到66次，参数数量为2至22次。通过共同优化算法和硬件，我们的基于FPGA的蝴蝶加速器在归一化到同一计算预算的最新加速器上达到了14.2至23.2倍的速度。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，我们的系统在相同的功率预算下的最大273.8和15.1倍。

为了追求基于本体本体的查询的通用标准，我们介绍了存在规则的“有限 - 局限性集合”（FCS），这是一种模型定义的规则集类别，灵感来自图形理论的cliquewidth措施。通过一个通用参数，我们表明FCS确保对相当一类的查询类（称为“ Damsoqs”）的必要性进行可决定性，这些查询均包含结合性查询（CQS）。 FCS类适当地概括了有限扩展集（FES）的类别，并且最多可以介绍2个Arity的签名，即有界树的类别（BTS）。对于较高的ARIT，BTS仅由FC通过重新化而间接汇总。尽管FCS的普遍性，但我们提供了一个规则集，该规则集具有可决定的CQ符号（由于一阶 - 剥离性），因此落在FC之外，从而证明了FCS的无与伦比和有限合并集（FUS）的无效性。尽管如此，我们还是表明，如果我们将自己限制在最多2的单头规则设置上，那么FCS属于FUS。

背景：基于学习的深度颈部淋巴结水平（HN_LNL）自动纤维与放射疗法研究和临床治疗计划具有很高的相关性，但在学术文献中仍被研究过。方法：使用35个规划CTS的专家划分的队列用于培训NNU-NEN 3D FULLES/2D-ENEBLEN模型，用于自动分片20不同的HN_LNL。验证是在独立的测试集（n = 20）中进行的。在一项完全盲目的评估中，3位临床专家在与专家创建的轮廓的正面比较中对深度学习自动分类的质量进行了评价。对于10个病例的亚组，将观察者内的变异性与深度学习自动分量性能进行了比较。研究了Autocontour与CT片平面方向的一致性对几何精度和专家评级的影响。结果：与专家创建的轮廓相比，对CT SLICE平面调整的深度学习分割的平均盲目专家评级明显好得多（81.0 vs. 79.6，p <0.001），但没有切片平面的深度学习段的评分明显差。专家创建的轮廓（77.2 vs. 79.6，p <0.001）。深度学习分割的几何准确性与观察者内变异性（平均骰子，0.78 vs. 0.77，p = 0.064）的几何准确性无关，并且在提高水平之间的准确性方面差异（p <0.001）。与CT切片平面方向一致性的临床意义未由几何精度指标（骰子，0.78 vs. 0.78 vs. 0.78，p = 0.572）结论：我们表明可以将NNU-NENE-NET 3D-FULLRES/2D-ENEMELBEND用于HN_LNL高度准确的自动限制仅使用有限的培训数据集，该数据集非常适合在研究环境中在HN_LNL的大规模标准化自动限制。几何准确度指标只是盲人专家评级的不完善的替代品。

最近的研究表明，看似公平的机器学习模型在为对人们的生活或福祉产生影响的决策提供信息（例如，涉及教育，就业和贷款的申请）可能会在长期内无意中增加社会不平等。这是因为先前的公平意识算法仅考虑静态公平限制，例如机会均等或人口统计奇偶。但是，强制执行这种类型的限制可能会导致模型对处境不利的个人和社区产生负面影响。我们介绍ELF（执行长期公平性），这是第一个分类算法，可提供高信任公平保证，以长期或延迟影响。我们证明，ELF返回不公平解决方案的概率小于用户指定的公差，并且（在轻度假设下），如果有足够的培训数据，ELF能够找到并返回公平的解决方案，如果存在一个公平的解决方案。我们通过实验表明，我们的算法可以成功缓解长期不公平。

可选类型的注释允许通过静态打字功能来丰富动态编程语言，例如更好的集成开发环境（IDE）支持，更精确的程序分析以及与类型相关的运行时错误的早期检测和预防。基于机器学习的类型推理有望自动执行此任务的有趣结果。但是，此类系统的实际用法取决于它们在跨不同领域概括的能力，因为它们通常在训练领域之外应用。在这项工作中，我们通过进行广泛的跨域实验来研究Type4py作为最先进的基于深度学习类型推理系统的代表性的概括能力。因此，我们解决了以下问题：数据集偏移，播音外词，未知类别和稀有类。为了执行此类实验，我们使用数据集nytypes4py和crossdomaintypes4py。我们在本文中介绍的后者。我们的数据集具有超过1,000,000个类型的注释，并可以使用来自两个域Web开发和科学计算的数据的数据的不同域中的类型推理系统进行跨域评估。通过我们的实验，我们检测到数据集中的变化，并具有长尾巴分布，并具有许多稀有和未知的数据类型，从而大大降低了基于深度学习的推理系统的性能。在这种情况下，我们测试了无监督的域适应方法和微调以克服问题。此外，我们研究了量量表的单词的影响。

大气效应（例如湍流和背景热噪声）抑制了在开关键控自由空间光学通信中使用的相干光的传播。在这里，我们介绍并实验验证了卷积神经网络，以降低后处理中自由空间光学通信的位错误率，而自由空间光学通信的位比基于高级光学器件的现有解决方案明显简单，更便宜。我们的方法由两个神经网络组成，这是第一个确定在热噪声和湍流中存在相干位序列以及第二个解调相干位序列的存在。通过生成连贯的光线，将它们与热灯结合在一起，并通过湍流的水箱将其结合起来，通过生成开关的键入键流，可以通过实验获得我们网络的所有数据，从而获得了模拟的湍流，并将其传递给了最终的光线。高度准确性。我们的卷积神经网络提高了与阈值分类方案相比的检测准确性，并具有与当前解调和误差校正方案集成的能力。